Hierarchical Text Classification using Methods from Machine Learning

Due to the permantently growing amount of textual data, automatic methods for organizing the data are needed. Automatic text classification is one of this methods. It automatically assigns documents to a set of classes based on the textual content of the document. Normally, the set of classes is hierarchically structured but today’s classification approaches ignore hierarchical structures, thereby loosing valuable human knowledge. This thesis exploits the hierarchical organization of classes to improve accuracy and reduce computational complexity. Classification methods from machine learning, namely BoosTexter and the newly introduced CentroidBoosting algorithm, are used for learning hierarchies. In doing so, error propagation from higher level nodes and comparing decisions between independently trained leaf nodes are two problems which are considered in this thesis. Experiments are performed on the Reuters 21578, the Reuters Corpus Volume 1 and the Ohsumed data set, which are well known in literature. Rocchio and Support Vector Machines, which are state of the art algorithms in the field of text classification, serve as base line classifiers. Comparing algorithms is done by applying statistical significance tests. Results show that, depending on the structure of a hierarchy, accuracy improves and computational complexity decreases due to hierarchical classification. Also, the introduced model for comparing leaf nodes yields an increase in performance. Kurzfassung Durch die starke Zunahme textueller Daten entsteht die Notwendigkeit automatische Methoden zur Datenorganisation einzusetzten. Automatische Textklassifikation ist eine dieser Techniken. Sie ordnet Textdokumente auf inhaltlicher Basis automatisch einer definierten Menge von Klassen zu. Die Klassen sind meist hierarchisch strukturiert, wobei die meisten heutigen Klassifikationsansätze diese Struktur ignorieren. Dadurch geht a priori Information verloren. Die vorliegende Arbeit beschäftigt sich mit dem Ausnützen hierarchischer Strukturen zur Verbesserung von Genauigkeit und Zeitkomplexität. BoosTexter und der hier neu vorgestellte CenroidBooster, Algorithmen aus dem Bereich des maschinellen Lernens, werden als hierarchische Klassifikationsmethoden eingesetzt. Die bei hierarchischer Klassifikation entstehenden Probleme der Fehlerfortpflanzung von hierarchisch höheren Knoten und das Vergleichen von Entscheidungen aus unahängig trainierten Blättern werden dabei berücksichtigt. Die Verfahren werden anhand bekannter Datensätze, dem Reuters-21578, Reuters Corpus Volume 1 und Ohsumed Datensatz analysiert. Dabei dienen Support Vector Maschinen und Rocchio, beides State of the Art Techniken als Vergleichsbasis. Die Vergleiche zwischen Ergebnissen erfolgen anhand statistischer Signifikanztests. Die Ergebnisse zeigen, daß abhängig von der hierarchischen Struktur, Genauigkeit und Zeitkomplexität verbessert werden können. Der Ansatz zum Vergleich von unabhängig trainierten Blättern verbessert die Genauigkeit ebenfalls. I hereby certify that the work presented in this thesis is my own and that work performed by others is appropriately cited. Ich versichere hiermit, diese Arbeit selbständig verfaßt, andere als die angegebenen Quellen und Hilfsmittel nicht benutzt und mich auch sonst keiner unerlaubten Hilfsmittel bedient zu haben. Danksagung Ich möchte an diesem Punkt meinen Eltern und Großeltern danken. Sie haben es mir ermöglicht, mein Studium und somit auch diese Arbeit in Angriff zu nehmen. Danke. Mein Dank gilt auch Professor Dr. Peter Auer, der mir die Gelegenheit gab, eine Diplomarbeit im Bereich des maschinellen Lernens zu verfassen und mir mit guten Ratschläge und Hinweisen zur Seite stand. Vielen herzliche Dank auch an meine Freundin Gisela Dösinger, auf deren Hilfe ich immer zählen konnte und daß sie, sowie meine Arbeitskollegen Wolfgang Kienreich und Vedran Sabol, immer ein offenes Ohr für mich hatte. Die letzte Danksagung gilt meinem Arbeitgeber, dem Know-Center, fr das zu Verfgung stellen von technischen und zeitliche Ressourcen. Der Weg ist das Ziel Michael Granitzer Graz, Austria, Oktober 2003